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La presente invention concerne un proced§ de recalage 
automatique, notamment par des moyens electroniques, d'un 
modele g6ometrique d'une scene sur une image de la scene, un 
dispositif de mise en oeuvre ainsi qu'un support de programmation. 

5 Elle a des applications dans les activites mettant en oeuvre le 
traitement des images et dans lesquelles on cherche a superposer 
un modele visuel representant une scene selon un point de vue et 
un angle de vision particulier sur une image reelle de la sc&ne 
prise selon un autre point de vue et/ou un autre angle. 

10 L'invention est plus particulierement destinee a des scenes 

qui presentent des reperes sous forme de lignes contrastees par 
rapport au reste de la scene et, notamment, des terrains de sport 
avec des lignes reperes de marquage et de delimitation. Le 
recalage entre le modele et rimage permet de pouvoir placer une 

15 action se deroulant sur la scene dans un contexte significatif 
apporte par le modele et Ii6 a sa structuration (lieu sur la scene, 
connaissance des actions habituelles du lieu...). L'invention permet 
done une structuration de rimage. Les images sont notamment des 
images video. 

20 On connaTt deja des methodes d'analyse d'images 

numerisees, video ou autres, permettant d'extraire de fagon 
automatique les caracteristiques de structure de Pimage. Ces 
methodes mettent en oeuvre deux approches. La premiere, qui est 
une approche generate, est operationnelle quel que soit le type de 

25 d'image traitee. La seconde, qui est une approche specialisee, est 
adaptee au type de rimage qui doit etre traitee. Avec la premiere, 
les resultats obtenus sont d'assez bas niveau. 

II est done souhaitable de specialiser les methodes d'analyse 
en fonction du type de rimage. Un type particulier d'image poss6de 

30 des elements de structuration particulierement interessants pour 
cet objectif, ce sont les images de retransmissions sportives se 
deroulant sur des terrains particuliers ppssedant des lignes 
reperes de marquage et de delimitation. En effet, outre le fait que 
les regies de jeu sont generalement tres simples M ce qui permet 



2 



une structuration du match et une reconnaissance des actions 
caracteristiques aisees, le lieu sur lequel se deroule Taction est 
fixe et sa structure spatiale est connue & priori en fonction de 
reperes relativement simples a detecter qui sont des lignes ou des 
courbes. A titre d'exemple, on peut citer les circuits de course 
(athletisme ou courses motorisees), les terrains de football 
europeen ou am^ricain, de basket, les terrains de tennis. Pour les 
derniers, il est generalement possible de connaitre a Tavance le 
mode de deroulement d'une rencontre, a savoir, Penchamement 
potentiel des phases de jeu (structuration temporelle d'action), le 
module universel du terrain avec les dimensions precises des 
differentes lignes (structuration spatiale), le nombre de joueurs, 
etc. 

Plusieurs solutions ont deja ete proposes au probleme de 
recalage de modele de terrain de sports sur des images. On peut 
citer trois exemples concernant trois types de sport differents, a 
savoir, le tennis, le football, le football americain. 

Pour le tennis, dans I'article de G. Sudhir, J. Lee and A. Jain, 
intitule « Automatic classification of tennis video for high level 
content-based retrieval » Technical Report, August 1997, The 
Hong-Kong University of science and technology, on tente de 
retrouver trois lignes perpendiculaires dans I'image (un carr6 de 
service par exemple) afin de calculer la position des autres lignes 
connaissant la forme theorique d'un terrain de tennis. La premiere 
etape concernant la reconnaissance de trois lignes, est effectuee 
par un algorithme de suivi de droites contraint par la connaissance 
a priori de la direction de recherche (horizontale vers la droite, 
puis verticale vers le haut, et enfin horizontale vers la gauche). 
Cet algorithme est initialise par un point selectionne de fa?on 
heuristique au centre de Timage. Les defauts majeurs de cette 
approche sont qu'il n'y a pas de robustesse au positionnement du 
point initial, ni a I'absence d'une des trois lignes de base (bruit 
dans Timage, lignes partiellement effacee) et qu'il n'y a pas de 
verification de Tadequation entre Tensemble des lignes recalees et 
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les lignes dans Pimage (seule les trois lignes de base sont 
testees). Enfin, la methode proposee aboutit a un algorithme assez 
lent peu favorable au traitement en temps r6el. 

Pour le football, dans Tarttcle de Y. Gong T.S. Lim, and H.C. 

5 Chua, Intitule « Automatic Parsing of TV Soccer Programs » IEEE 
International Conference on Multimedia Computing and Systems, 
May, 1995, pp. 167-174, les etapes suivantes sont mises en 
oeuvre. Une detection de contours par un filtre gaussien-laplacien. 
Un filtrage de Tinformation de contours par utilisation de la couleur 

10 blanche des lignes. Une reconnaissance de formes (ellipse, 
triangle, rectangle...) donnaint un certain nombre de primitives. Une 
analyse des relations spatiales entre primitives permettant 
d'identifier I'endroit du terrain ou se situe Taction de jeu. Cette 
. m§thode est particulierement adaptee au terrain de football en 

15 raison de Pheterogeneite des primitives recherchees (rond central, 
surface de reparation, but...). Elle apparait plus difficilement 
applicable a un module de terrain qui presente une symetrie tres 
importante comme un terrain de tennis. De plus, elle n ? offre pas a 
proprement parler de recalage du terrain mais plus une 

20 reconnaissance de la position sur le terrain (pres de buts, au 
centre...). 

Enfin, pour le football americain, dans la these de S. Intille, 
intitulee « Visual Recognition of Multi-Agent Action ». Phd Thesis, 
MIT, September 1999, on utilise les caracteristiques du terrain de 

25 football am6ricain afin de reconnaTtre I'endroit ou se situe la phase 
de jeu. Pour ce faire, on utilise les annotations au sol. Celles-ci 
sont constitutes de chiffres et de lignes repartis de « 10 yards » 
en « 10 yards ». Ces informations sont rassemblees au sein d'un 
modele theorique de terrain. La methode proposee consiste alors a 

30 mettre en correspondence n (n>=4) points de IMmage avec n 
points du terrain theorique. Pour ce faire, un algorithme de 
detection de lignes base sur un filtrage de Cany-Deriche est 
utilise. Les intersections des differentes droites trouvees forment 
un ensemble de points particuliers servant au recalage par rapport 
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au modele theorique. Le recalage initial est realise manuellement 
sur la premiere image en associant 4 points identifies dans I'image 
avec leur correspondant dans le modele theorique. Pour les 
images suivantes, un algorithme de compensation du mouvement 

5 dominant permet de suivre les points en correspondance tout au 
long de la sequence. Les inconvenients de cette m^thode sont 
principalement I'utilisation d'une initialisation manuelle, la 
sensibilite de I'algorithme de detection de lignes et la difficulty 
d'adaptation £ un modele de terrain plus complexe qui ne possede 

10 pas des annotations au sol equivalentes. 

La presente invention propose une methode alternative ne 
faisant pas appel a une initialisation manuelle de I'algorithme de 
recalage pour chaque sequence video traitee. Elle est par ailleurs 
robuste au probleme de detection de contours ce qui n'est pas le 

15 cas des methodes precedemment decrites. Dans le cadre de 
Tinvention les termes terrain et scene sont consideres comme 
equivalents. 

Ainsi, Tinvention concerne, un procede de recalage 
automatique par des moyens 6lectroniques d'un module 

20 geometrique d'une scene sur une image de la scene, le modele et 
rimage de la scene etant stockes dans une memoire d'un dispositif 
electronique sous forme de matrices de pixels, la scene 
comportant des reperes fixes par rapport au reste de la scene, les 
reperes pouvant etre specifiquement detectes au sein des 

25 matrices, I'image etant prise par une camera disposee dans une 
zone donnee par rapport au terrain en un lieu de la zone et selon 
un angle de prise de vue determines par rapport a la scene, les 
moyens 6lectroniques comparant I'image au module ayant subi un 
ajustement en perspective par une homographie a la recherche 

30 d'une superposition des reperes. 

Selon I'invention, le dispositif 6Iectronique calcule une 
fonction d'homographie fine Hf pour le recalage en trois phases 
principales : 
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une premiere phase prealable de determination d'une 
homographie de recaiage moyen consistant a determiner une 
fonction d'homographie moyenne H m s'appliquant sur le modele 
avec ajustement moyen sur un echantillon d'images pr6alablement 
5 realisees de la scene, 

une deuxidme phase de recaiage grossier consistant apr&s 
I'application de la fonction d'homographie moyenne H m sur le 
modele a determiner une fonction d'homographie grossiere H g , 

une troisieme phase de recaiage fin consistant apres 
10 I'application de la fonction d'homographie grossiere H g sur le 
modele & determiner une fonction d'homographie fine Hf. 

Notons des & present que, comme on le verra par la suite, le 
lieu et/ou Tangle de prise de vue peuvent evoluer d'une image a 
Tautre dans la limite ou le modele reste en partie visible dans 
15 I'image (le critere de limite de visibility sera defini ulterieurement). 
Dans divers modes de mise en oeuvre de I'invention, les moyens 
suivants pouvant etre combines selon toutes les possibilites 
techniquement envisageables, sont employes : 

- la scene possede des iignes repere de delimitation ou marquage 
20 au nombre d'au moins 4 Iignes reperes non paralleles 3 a 3, 

- les Iignes repere sont reduites a des points et la scene possede 
au moins 4 points reperes non 3 a 3 align6s, 

- dans ia phase prealable de determination d'une homographie de 
recaiage moyen, on selectionne au moins une image echantillon 

25 parmi un ensemble dMmages prises du lieu determine, on detecte 
les reperes sur Timage/les images 6chantillons et on calcule une 
fonction homographique H m moyenne permettant une superposition 
entre le modele soumis a la fonction homographique moyenne et 
I'image/les images echantillons, la superposition etant atteinte 

30 pour une minimisation aux moindres carres de la distance entre 
des points reperes de/des images echantillons et le modele soumis 
a la fonction homographique moyenne, 

- dans la deuxieme phase de recaiage grossier : 
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- dans une premiere etape on applique un traitement 
d'extraction a Timage permettant, selon des criteres de 
detection, de detecter dans la matrice de Timage des pixels 
pouvant representer des reperes de la scene (mais done vus 

5 selon ie lieu et Tangle de prise de vue) et de former une 

premiere matrice binaire M rh de repere d'image comportant 
des points de contours horizontaux (encore dits points de 
gradient vertical) et une seconde matrice binaire M rv de 
repere dMrnage comportant des points de contours verticaux 

10 (encore dits points de gradient horizontal), 

- dans une deuxi&me etape on calcule pour chaque matrice 
binaire repere horizontale M r h, respectivement verticale M rv , 
une matrice de distance repere horizontale Mdh« 
respectivement verticale Mdv, comportant pour chaque 

15 element de la matrice la valeur de distance par rapport au 

repere le plus proche selon la verticale, respectivement 
Thorizontale, 

pour la matrice de distance repere horizontale M<ih chaque 
element de ladite matrice indiquant la distance en nombre de 

20 pixels par rapport a la ligne repere le long d'un axe vertical, 

les valeurs distance sur la ligne repere et ceux d'une colonne 
sans pixel de ligne repere etant nuls, les valeurs distance le 
long de la verticale augmentant en valeur absolue au fur et a 
mesure de Teloignement de Telement par rapport a la ligne 

25 repere, les valeurs distance des elements etant de signes 

opposes de part et d'autre de la ligne repere, 
pour la matrice de distance repere verticale Mdv chaque 
element de ladite matrice indiquant la distance en nombre de 
pixels par rapport a la ligne repere le long d'un axe 

30 horizontal, les valeurs distance sur la ligne repere et ceux 

d'une ligne sans pixel de ligne repere etant nuls, les valeurs 
distance ie long de Thorizontale augmentant en valeur 
absolue au fur et a mesure de Teloignement de Telement par 



rapport a la ligne repere, des Elements §tant de signes 
opposes de part et d'autre de la ligne repere, 

- dans une troisieme etape on applique sur Pensemble des 
lignes repferes du modele la fonction homographique H m 
moyenne afin de produire une matrice ajustee moyenne 
binaire M am qui est comparee aux matrices de distance 
repere verticale Mdv, respectivement horizontals M d h, afin de 
cr6er des appariements de pixels, 

avec pour chaque pixel p(i,j) de la matrice ajustee moyenne 
provenant du recalage d'un pixel du modele appartenant & 
une ligne repere verticale et positionne a la ligne i et £ la 
colonne j de la matrice ajustee moyenne M am , I'affectation 
d'un pixel correspondent obtenu en additionnant la valeur v 
en i et j de la matrice repere verticale M rv a la valeur j, et 
creant I'appariement de pixels ((i,j), (U+v)), 
avec pour chaque pixel p(i,j) de la matrice ajustee moyenne 
provenant du recalage d'un pixel du modele appartenant a 
une ligne repere horizontale et positionne £ la ligne i et a la 
cofonne j de la matrice ajustee moyenne M am , I'affectation 
d'un pixel correspondant obtenu en additionnant la valeur v 
en i et j de la matrice repere horizontale M f h a la valeur i, et 
creant I'appariement de pixels ((i,j), (i + v,j)), 
une fonction d'homographie H 0 pt est alors calculee par 
regression avec minimisation de la mediane du carre de la 
distance entre paires de pixels apparies, le calcul etant 
effectue sur n ensembles de quatre paires de pixels appari6s, 

- dans une quatrieme etape on identifie les paires de pixels 
correspondant a des appariements non aberrants, - dans une 
cinquieme etape on ajuste H op t par un calcul de regression 
aux moindres carr6s sur Tensemble des paires de pixels non 
aberrantes afin de produire Thomographie grossiere H g) 

- dans la matrice ajustee moyenne binaire M a m, les pixels prennent 
la valeur 1 s'ils correspondent a un pixel repere du modele recale 
et 0 sinon, 
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- dans la quatrieme etape de la deuxieme phase de recalage 
grossier, une paire de pixels correspond & un appariement non 
aberrant, si, pour le pixel de la matrice ajustee moyenne M am de 
Tappariement considere, la distance entre le pixel apparie par 

5 utilisation des matrices reperes M r h, M rv , et celui obtenu par 
Thomographie H op t est inferieur ou 6gal a un seuil predetermine, 

- les criteres de detection de reperes sont choisis isolement ou en 
combinaison parmi : 

- une couleur sp6cifique du repere par rapport au reste de la 
10 scene, 

- une teinte specifique du repere par rapport au reste de la 
scene, 

- un niveau de gris specifique du rep&re par rapport au reste 
de la scene, 

15 - une forme specifique du repere, notamment une ligne, un 

angle entre deux lignes se croisant, un paralI6lisme entre 
deux lignes, 

- une orientation specifique du repere, 

- une ligne la plus proche et parallele d'un bord de la matrice 
20 de Pirnage, 

- le traitement d'extraction comporte une etape prealable de 
filtrage de Cany-Deriche de Timage afln d'obtenir une image de 
gradients et le traitement se poursuit avec IMmage de gradients, 

- dans la troisieme phase de recalage fin on applique 
25 Thomographie grossiere H * sur le modele et on compare le 

resultat aux deux matrices de distance horizontale et verticale 
avec ajustement de Thomographie par une methode de 
minimisation iterative mono dimensionnelle alternee dite de Powell, 

- la matrice du modele est une matrice binaire dont tous les pixels 
30 concernant les reperes on une premiere valeur et les autres pixels 

une seconde valeur afin d'eviter d'avoir & detecter les reperes 
dans ladite matrice du modele lors de la mise en oeuvre des 
phases et etapes du precede, 
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- les images 6voluent au cours du temps selon des sequences 
correspondant a des lieux et/ou angles de prise de vue differents 
et le dispositif electronique comporte de moyens permettant en 
outre de determiner au cours de la premiere phase pr6alable de 

5 recalage moyen autant de fonctions d'homographie moyennes H m 
qu'H y a de lleux et angles de prise de vue differents, 

- on met en oeuvre les phases et etapes dans les moyens 
electroniques qui sont en logique programmable avec un 
programme et la logique programmable comporte un 

10 microprocesseur ou processeur de signaux numeriques (DSP) et, 
de preference, du type micro-ordinateur generaliste ou dedie, 

- la scene est un terrain de sport comportant des reperes sous 
forme de lignes de delimitation, notamment un terrain « football » 
europeen ou americain ou de tennis, 

15 - on met en oeuvre des moyens electroniques qui sont en logique 
cablee, 

- la logique c§biee comporte au moins un circuit integre, 

- on met en oeuvre des moyens electroniques qui sont en logique 
programmable avec un programme, 

20 - la logique programmable comporte un microprocesseur ou 
processeur de signaux numeriques (DSP) et sont, de preference, 
du type micro-ordinateur generaliste ou dedie. 

L'invention concerne egalement un dispositif de recalage 
automatique par des moyens electroniques d'un modele 

25 geometrique d'une scene sur une image de la scene, le module et 
Timage de la scene etant stockes dans une memoire d'un dispositif 
electronique sous forme de matrices de pixels, la scene 
comportant des reperes fixes par rapport au reste de la scene, les 
reperes pouvant etre specifiquement detectes au sein des 

30 matrices, Timage etant prise par une camera disposee dans une 
zone donnee par rapport au terrain en un lieu de la zone et selon 
un angle de prise de vue determines par rapport & la scene, les 
moyens electroniques comparant Timage au modele ayant subi un 
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ajustement en perspective par une homographie a la recherche 
(Tune superposition des reperes. 

Selon cette invention, le dispositif comporte des moyens 
permettant de calculer une fonction d'homographie fine H f pour le 
5 recalage en trois phases principales : 

une premiere phase prealable de determination d'une 
homographie de recalage moyen consistant a determiner une 
fonction d'homographie moyenne H m s'appliquant sur le modele 
avec ajustement moyen sur un echantillon d'images pr^alablement 
10 realisees de la scene, 

une deuxieme phase de recalage grossier consistant apres 
('application de la fonction d'homographie moyenne H m sur le 
modele a determiner une fonction d'homographie grossiere H gl 

une troisieme phase de recalage fin consistant apres 
15 I'application de la fonction d'homographie grossiere H g sur le 
modele a determiner une fonction d'homographie fine Hf. 

L'invention de dispositif comporte encore des moyens 
permettant I'execution du procede precedemment liste et de toutes 
ses variantes isolement ou selon toutes leurs combinaisons. 
20 Dans une variante du dispositif, les moyens electroniques 

sont du type micro-ordinateur generaliste ou dedie. 

L'invention concerne egalement un support informatique 
comportant un programme destine au fonctionnement du dispositif 
precedent. 

25 L'invention concerne enfin un support informatique 

comportant un programme destine au fonctionnement du dispositif 
precedent et au moins selon une des modalites methodologiques 
parmi 1'ensemble des modalites, y compris resultant de 
combinaisons 6ventuelles t qui ont precedemment ete listees. 

30 La pr^sente invention va maintenant etre exemplifiee par la 

description qui suit, sans en etre pour autant limitee, et en relation 
avec : 

la Figure 1 qui represente un exemple de dispositif pour mise en 
oeuvre de l'invention et, 



11 



la Figure 2 qui represents des donn^es produites pour une etape 
de recalage grossier avec des cartes de gradients et de distances 
alg6briques aux contours. 

LMnvention est maintenant explicitee en prenant Texemple du 
5 recalage d'un modele de terrain de tennis sur une image provenant 
d'une sequence video de jeu sur un tel terrain mais qui est 
generalement prise selon un autre point de vue que celui du 
modele. Le terrain de tennis pr6sente I'avantage d'avoir des 
dimensions parfaitement connues et des lignes reperes 

10 parfaitement definies. L'objectif est de recaler Pensemble des 
informations spatiales extraites des images video, par exemple 
position et trajectoire des joueurs ou de la balle, par rapport a un 
meme referentiel qui est le modele. Le recalage permet de definir 
une transformation qui peut etre ensuite utilisee pour Tensemble 

15 des elements de I'image. Notons que suivant ce que Ton veut 
transformer, le modele ou une image, on utilisera la transformation 
directe ou son inverse. Ceci permet, dans des phases ulterieures 
non abord^es dans la presente demande, d'identifier les phases de 
jeu (service, volee ...). 

20 Dans cet exemple on utilise un certain nombre d'hypotheses 

qui sont que les prises de vue des images vid6o sont faites a partir 
d'un point haut en arriere du petit cote du terrain et que la majeure 
partie du terrain est visible sur les images. Toutefois, Tinvention 
est applicable a des images prises d'un autre point, notamment sur 

25 les grands cotes. De plus, on suppose que les lignes de terrain 
sont blanches (rinvention est toutefois adaptable & toute couleur 
de ligne pouvant etre extraite d'une image du terrain). Enfin, on 
suppose que la surface de jeu et done la couleur du terrain n'est 
pas connue a priori afin de pouvoir analyser les images de 

30 rencontres sur terre battue ou herbe et, aussi, que le 
positionnement des joueurs est quelconque. 

A partir de ces hypotheses, on a determine une methode qui 
peut etre transposee sous forme algorithmique afin qu'elle puisse 
etre mise en ceuvre automatiquement dans , des moyens 
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electroniques, notamment un systeme informatique a 
microprocesseur ou processeur de signaux numeriques. La 
methode utilise les lignes du terrain et plus particulierement les 
lignes de contour afin de reduire la quantite de calculs 
5 necessaires. Toutefois, I'invention peut etre appliquee a toutes 
lignes repere de delimitation ou marquage du terrain sous la 
condition de posseder au moins 4 lignes repSres non paralleles 3 a 
3 ou 4 points reperes non 3 a 3 alignes. 

Avec la methode proposee, un equipement electronique 
10 permet de deformer automatiquement le modele de terrain 
theorique represents par des lignes de delimitation de maniere a 
faire correspondre le mieux possible les lignes recalees avec les 
lignes reelles du cours qui apparaissent sur les images video. 
Dans Pequipement informatique, les images aussi bien du modele 
15 que celles reelles de la video, sont sous forme numerique et sont 
stockees dans des matrices lignes x colonnes pour les calculs. De 
preference le modele correspond a une image binaire de la scene 
(cours) dans laquelle les lignes reperes ont une valeur differente 
du reste de la sc&ne. De preference, les matrices damages, du 
20 modele et celles calculees sont de meme taille afin de simplifier 
les calculs et d'6viter a avoir tenir compte d'un facteur de 
reduction ou agrandissement. Toutefois, I'invention peut etre 
appliquee dans son principe & des matrices de modele et 
d'image(s) de tailles differentes. 
25 Un exemple de dispositif pour mise en ceuvre de Tinvention 

est represents Figure 1 et, de preference, I'invention est mise en 
oeuvre avec des circuits electroniques programmables, notamment 
micro-ordinateur ou §quipement informatique dedie et on a 
represents sur cette figure des moyens informatiques. Une camera 
30 video 3 effectue une prise de vue d'une scene 2 qui est ici un 
terrain de tennis. La prise de vue comportant une suite d'images 
est transmise sous forme de donnees video 1 vers un micro- 
ordinateur 4 permettant d'effectuer les operations en relation avec 
Tinvention et de stocker au moins Pimage en cours de traitement. 
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Dans un cartouche circulaire a droite de la Figure 1 et en relation 
par une fleche avec le micro-ordinateur 4 on a Sgalement 
represents un modele 7 de terrain de tennis pour indiquer que le 
micro-ordinateur stocke egalement une representation du module 
5 de la scSne. La liaison directe entre la camera 3 et le micro- 
ordinateur permet un traitement en direct du flux vidSo 1 qui peut 
y etre stocke. On a toutefois represents en pointilles une liaison 
vidSo 1* entre (a camera 3 et un moyen de stockage 6 du flux 
video pour sa premiere partie et entre le moyen de stockage 6 et 

10 le micro-ordinateur 4 pour sa deuxieme partie, afin de montrer que 
Tinvention peut Sgalement s'appliquer a de la video pre- 
enregistrSe. Le moyen de stockage 6 est represents sous forme 
d'un serveur mais il est Sgalement possible d'utiliser des moyens 
de stockage analogiques. Toutefois, on comprend bien que le 

15 traitement automatise est effectue dans un equipement mettant en 
ceuvre des calculs logiques/numeriques, micro-processeur ou 
processeur de signaux numeriques (DSP), et que si un signal 
video analogique est transmis, une conversion analogique 
numerique est effectuSe avant le traitement automatise. De 

20 preference, le flux video est un flux de donnees numeriques. 

On comprend egalement que le terme micro-ordinateur peut 
couvrir tout Squipement electronique informatique compatible et 
eventuellement dedie de type station de travail graphique. En 
alternative, le micro-ordinateur peut etre rempiace par un circuit 

25 cable specialement realise pour effectuer les operations en 
relation avec Tinvention. Le circuit cable (un ou plusieurs circuits 
integres) peut Sventuellement etre dispose sur une carte 
electronique au sein d'un micro-ordinateur. Enfin, les donnees 
video brutes conduisant a un flux de donnees particulierement 

30 important, Tinvention peut egalemerit fonctionner sur des donnees 
video compressees, soit que les images soient decompressees 
lors du traitement, soit que le traitement soit adapte au type de 
compression utilise. En particulier certains systemes de 
compression permettent de supprimer les donnees redondantes 
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dans une image et une faible quantite de donn6es apporte une 
information sur I'homogeneite ou la complexity de ladite Image, ce 
qui peut egalement permettre la selection des plans. 

Le recalage est effectu6 de maniere globale avec un seul 

5 modele de deformation pour Tensemble du terrain selon un point 
de prise de vue de Timage particulier et dans la mesure ou au 
moins 4 des reperes associes au modele sont visibles. Au cas ou 
le point de prise de vue est modifie, un nouveau modele de 
deformation doit etre mis en oeuvre (le modele de deformation 

10 initial moyen doit etre change ce qui implique une modification des 
resultats des §tapes ulterieures). Dans le cas de sequences 
alternant des prises de vues en des points differents, soit, on 
fournit a Tequipement une information a priori du point de prise de 
vue et on utilise la fonction de recalage moyen correspondante (la 

15 methode met en ceuvre une etape prealable de determination d'une 
fonction de recalage moyen determinee a partir d'un echantillon 
d'images prise en un point particulier), soit, on effectue des tests 
iteratifs avec plusieurs fonctions de recalage moyen (chacune 
correspondant a un point particulier) a la recherche du recalage 

20 qui est le plus proche selon un critere de distance entre modele 
recale et image et on utilise la fonction de recalage moyen en 
question pour la suite. Notons encore une fois, qu'ulterieurement, 
et en dehors du cadre de la pr§sente invention qui concerne plus 
particuli&rement le recalage entre un modele et une image, une 

25 fois les differentes positions des joueurs ou de la balle calculees 
sur rimage reelle, elles pourront egalement etre compensees via 
Sexploitation de la fonction de recalage ou de son inverse. 

On va maintenant expliciter les principes a la base de 
Tinvention et on prend un modele de terrain qui correspond a un 

30 terrain vu de dessus, sensiblement en son centre et 
symetriquement. LMnvention peut toutefois etre mise en ceuvre 
avec un modele de terrain qui correspond & une vue differente. 
Neanmoins, on choisit de preference une vue du modele qui 
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simplifie les calculs et, surtout, les etapes ulterieures de 
positionnement des elements de Pimage. 

Une fonction permettaht de d§former ce terrain theorique ou 
module comportant des reperes se croisant a angle droit, c'est a 

5 dire que le modele est considere comme vu de dessus 
sensiblement en son centre, est done recherch6e. On sait que le 
meme terrain vu au travers d'une camera positionnee lateralement 
pr£sentera sur Pimage des lignes reperes en perspective, les 
lignes fuyantes n'etant pas paralleles contrairement aux memes 

10 lignes du modele. Le type de projection a utiliser pour deformer le 
modele et le superposer a Pimage est connu et il correspond a une 
fonction de projection perspective (les deformations non lineaires 
Ii6es aux imperfections opttques de la camera sont negligees). 
Sous cette hypothese de projection perspective pure, on sait qu'il 

15 existe une relation exacte permettant de transformer un plan, celui 
du modele, en sa projection. Cette fonction est la fonction 
homographique a huit parametres. Bien que non lineaire en 
coordonnees cartesiennes, le passage en coordonnees homogenes 
permet de retrouver une linearite entre un point du modele et son 

20 projete dans Pimage. 

On rappelle maintenant le principe de cette transformation. 
Soit p(x,y,t) un point 2D exprime en coordonnees homogenes (le 

cas ou t est nul correspond & un point a Pinfini dans la direction 

(x,y». Ce meme point exprime dans Pespace cartesien aura pour 
xv 

25 coordonnees PC^* ( un P oint ® Pinfini ne pouvant s'exprimer en 

coordonnees cartesiennes). En coordonnees homogenes, la 
transformation homographique s'exprime sous forme matricielle via 
la matrice H(3x3) d6finie a un coefficient multiplicatif pres (elle 

possede 8 coefficients independants). Quel que soit le point 

30 homogene Pth exprime dans le repere attache au terrain theorique 
et p'son correspondant dans Pimage, on a p'aXHp^ avec ^ 

scalaire non nul. 
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Le recalage consiste done a identifier Phomographie 
permettant de recaler le terrain theorique, le modele, sur Pimage 
reelle. Ce type d'identification est base sur un calcul iteratif 
d'ajustement qui comporte une condition d'arret basee sur un 

5 critere de quaiite. Normalement, ce critere de quality devrait etre 
base sur la distance moyenne entre lignes reperes recalees et 
lignes reperes reelles. Toutefois, le positionnement des lignes 
reelles n'est pas connu a priori. En consequence, le critere de 
quaiite qui est utilise est un critere de distance a minimiser. Ce 

10 critere 0(1,/-/), dependant de Pimage I et de Phomographie H y est 
defini comme Pintegrale le long des lignes reperes recalees, de la 
distance entre un point d'une ligne rep^re recalee et le point de 
contour le plus proche. Son expression symbolique est la 
suivante : 

15 D(l,H) = ^d c (l,Ks).ds oil d c est la distance euclidienne du point s 

T 

recall par Phomographie H au point contour le plus proche dans 
Pimage L 

Cependant, la deformation a appliquer au modele th6orique 
est trds importante et de par sa nature fortement non Hneaire en 

20 coordonn§es cartesiennes, la transformation homographique est 
relativement instable, des petites variations sur les parametres de 
la troisieme ligne de la matrice homographique entraTnent de tr&s 
fortes variations de la position des points recalls, ce qui n'est pas 
favorable a un calcul automatise efficace. 

25 En consequence, le procede de recalage selon Ptnvention va 

etre effectue en trois phases permettant de passer d'un recalage 
initial approximatif a un recalage final fin. Les trois phases a 
executer sont, premierement, un recalage moyen suivi, 
deuxiemement, d'un recalage grossier puis, troisiemement, d'un 

30 recalage fin. Le but de Pinvention est, par utilisation de trois 
etapes de recalage, de garantir Pobtention d'une solution 
satisfaisante avec un cout (importance des calculs) reduit par 
rapport a la technique basee sur la transformation mathematique 
en projection presentee pr6cedemment a titre de rappel. La phase 
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de recalage moyen utilise le fait que les images pr6sentent des 
caracteristiques spatiales proches. L'etape de recalage grossier 
exploite un decoupage en lignes verticales et horizontales de la 
scene (terrain). La phase de recalage fin est bas6e sur un schema 
5 de minimisation dont la convergence rapide vers un minimum 
satisfaisant est garanti par les etapes de recalage prec6dentes. 

Le proc§de de recalage de Tinvention peut etre explicits sous 
forme d'un algorithme : 

1/Calculer sur un ensemble representatif d'images 
10 (echantillon), I'homographie de recalage moyenne H m 

2. Effectuer le recalage grossier d'image entre les pixels du 
modele recale par H m et leur correspondants obtenus par les 
cartes de distances par : 

a. Calcul des cartes de gradient horizontal et vertical et 
15 des cartes de distances horizontales et verticales par 

rapport aux points contours (un point contour etant un 
point dont la valeur de gradient est superieure ou 
egale a un seuil fixe) 

b. Estimation de I'ensemble des correspondants (couples) 
20 des points recales par H m a partir des cartes de 

distances, 

c. Calcul robuste de I'homographie grossiere H g a partir 
de Tensemble des couples trouv6s, (le calcul robuste 
consiste a ne prendre en compte qu'une partie des 

25 couples, ceux qui satisfont a un critere d'e qualite 

d'appariement : les couples correspondants a des 
appariements non aberrants) 
3. Effectuer le recalage fin en utilisant H g par rAffinement 
des paramfetres de H g pour minimiser la distance contours 
30 reels sur Tlmage a ceux du terrain theorique (le modele) 

recale par H g . 

Ces trois phases vont maintenant etre decrites dans le detail : 
a) Le recalage moyen : 
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Cette premiere phase est effectuee prealablement et, dans le 
cas oCj les points de prises de vues peuvent etre differents, une 
fois au moins pour tout point de prise de vue. Notons que dans le 
cas ou Tangle de prise de vue peut Sgalement evoluer de maniere 

5 importante, par exemple suite a un « travelling » ou une rotation 
de la camera, cette 6tape peut etre effectuee sur les angles 
extremes et/ou sur des directions de prise de vue intermediates 
(secteurs angulaires) 

Un echantillon repr6sentatif d'images des sequences de 

10 tennis disponibles pour un point de prise de vue donne (et, 
6ventuellement un angle de prise de vue donne) est determine et 
une fonction homographique moyenne H ml via une minimisation aux 
moindres carres de la distance entre points projetes et points reels 
de reperes, est calculee. De preference, cette etape est effectuee 

15 manuellement, un operateur mettant en correspondence manuelle 
les angles visibles des reperes dans tes images et les angles des 
reperes du modele (le calcul au moindres carres de I'homographie 
moyenne etant effectue sur I'ensemble des appariements ainsi 
obtenus). Toutefois cette operation peut egalement se faire de 

20 maniere semi automatique, un automate ajustant grossierement les 
lignes et un operateur humain peaufinant Tajustement pour 
produire finalement la fonction homographique moyenne H m . 
Inversement, ce peut etre Pop6rateur humain qui ajuste 
grossierement et Tautomate qui peaufine Pajustement pour 

25 produire finalement la fonction homographique moyenne H *». 
b) Le recalage grossier 

Au cours de cette phase deux cartes ou matrices de 
distances algebriques aux contours sont calculees, une pour ce qui 
concerne la verticale et une pour ce qui concerne I'horizontale. Le 
30 terme contour correspond a des lignes reperes du terrain. A cette 
fin et comme represents sur la Figure 2, a partir de I'image 
originate 8 des images de gradients verticaux et horizontaux sont 
calculees a I'aide d J un filtrage de Cany-Deriche puis seuillage et 
binarisation en fonction de criteres de detection afin de ne 
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conserver, dans cet exemple, que les points de fort contraste, c'est 
& dire ceux qui correspondent aux lignes reperes, pour produire 
deux cartes ou matrices de contours verticaux 10 et horizontaux 9 
respectivement. Si necessaire, on peut se referer a I'article 

5 Deriche, R., « Optimal Edge Detection Using Recursive Filtering », 
Proc. First Conf. on Computer Vision, London, June, 1987 en ce 
qui concerne le filtrage. Notons que sur la Figure 2, un filtrage des 
cartes de contours 9 et 10 a en outre ete realise afin de n'obtenir 
au final que les points de fort contraste poss§dant un niveau de 

10 gris superieur a un seuil etant entendu qu'ici on considere que les 
points appartenant aux lignes reperes sont blanches. Notons que 
Ton peut egalement prendre en compte la couleur pour 
selectionner des lignes de contour ou tout autre critere de 
detection specifique de tels contours dans I'image (alignement de 

15 points, contraste, couleur, croisement de lignes...). D'une maniere 
alternative, au cas oCi les lignes reperes seraient detectable 
simplement, on peut directement utiliser I'image et appliquer des 
criteres de detection de ligne rep£re sans passer par le calcul d'un 
gradient. Ces criteres peuvent etre une couleur specifique de ligne 

20 par exemple. Notons enfin qu'il est possible de mettre en ceuvre 
des etapes compl^mentaires permettant d'ameliorer la qualite des 
lignes reperes detectees, notamment par des operations de 
dilatation, erosion... sur les matrices. Ceci permet par exemple de 
reunir deux portion d'une meme ligne qui se trouvait coupee soit 

25 par la presence d'un joueur dans Taxe, soit par le revetement du 
terrain pousse sur la ligne par une glissade de joueur (terrain en 
terre battue). . 

A partir des deux cartes de contours 9 et 10 ainsi calculees, 
on determine les cartes de distances algebriques aux contours 
30 horizontaux 11 et verticaux 12 les plus proches. A cette fin, deux 
balayages horizontaux (respectivement verticaux) de la carte de 
contours verticaux 10 (respectivement horizontaux 11) sont 
effectues en affectant a chaque pixel la valeur de la distance 
euclidienne au point contour (appartenant done a f un repere) le 
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plus proche sur la ligne (respectivement la colonne) balayee. Cette 
distance est negative avant le point contour sur la ligne 
(respectivement la colonne) balayee. 

Cette phase du proced6 peut etre explicitee sous la forme 
5 d'un algorithme en considerant : 

• Gh et Gv les cartes de gradients horizontaux et verticaux 
correspondant & des matrices ligne x colonne indexees en 
ij ou en p (Ex : Gh(iJ) : valeur de Gh au point de 
coordonn§es i,j) (Ex : Gv(p) : valeur de Gv au point p) 

10 • Dh et Dv les cartes de distances horizontale et verticale 

correspondant a des matrices ligne x colonne indexees en 
i,j ou en p (Ex : Dh(i,j) : valeur de Dh au point de 
coordonnees ij) (Ex : Dv(p) : valeur de Dv au point p) 

• l(p) Pintensite de I'image I au point p 

15 1. Calcul des cartes de gradients horizontaux Gh et verticaux 
Gv 

2. Binarisation des cartes de gradients : 

a. Horizontale, pour tout point p : 

i. Si (I(p)>seuil1) && (Gh(p)> seuil2) alors 
20 Gh(p) = 1 

ii. Sinon Gh(p)=0 

b. Verticale, pour tout point p : 

i. Si (I(p)>seuil1) && (Gv(p)> seuil2) alors Gv(p)=1 

ii. Sinon Gv(p)=0 

25 3. Calcul des distances Dh et Dv : 

a. Initialiser Dh avec la valeur nombre de lignes +1, soit 
Dh(p)=Nblignes+1 VpeDh 

b. Initialiser Dv avec la valeur nombre de colonnes +1, 
soit Dv(p)=Nbcolonnes+l VpeDv 

30 c. Calcul de Dh : 

i. Pour chaque colonne j : 

• d=-1 ; 

• n = nombre de lignes 

• Pour (i=0 a n-1) 
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a. si Gh(i,j)=1 alors d=0 

b. si d !=-1 alors 

i. Dh(i,j)=d 

ii. d=d+1 

5 ii. Pour chaque colonne j : 

• d=-1 ; 

• n = nombre de lignes 

• Pour (i=n-1 a 0) 

a. si Gh(i,j)=1 alors d=0 
10 b. si (d !=-1) && (Dh(i,j) > d) alors 

i. Dh(i,j)=-d 

ii, d=d+1 

d. Calcul de Dv : 

i. Pour chaque ligne i : 
15 • d=-1 .; 

• n = nombre de colonnes 

• Pour (j=0 a n-1) 

a. si Gv(i,j)=1 alors d=0 

b. si d !=-1 alors 
20 i. Dv(i,j)=d 

ii. d=d+1 

ii. Pour chaque ligne i : 

• d=-1 ; 

• n = nombre de colonnes 
25 • Pour (j=n a 0) 

a. si Gv(i,j)=1 alors d=0 

b. si (d !=-1) && (Dv(i,j) > d) alors 

i- Dv(i,j)=-d 
ii. d=d+1 

30 Grace aux cartes de distances 11 et 12 ainsi calculees, on va 

determiner une homographie grossiere H g par recherche avec 
minimisation du critere D(I,H). A cette fin, on applique la fonction 
homographique moyenne H m au modele pour former un modele 
ajuste moyen sous forme d'une matrice du mode!e ( ajuste moyen. 
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La matrice du modele ajust6 moyen et ia carte de distances 
verticales, respectivement horizontales, sont parcourus 
parallelement, dans un cas horizontalement et dans Pautre 
verticalement et on met en correspondance les points de contours 

5 de IMmage a leurs homologues du mod&le ajuste moyen. Les points 
pour Timage sont obtenus a partir de la carte de distances 
verticales (respectivement horizontales). Deux balayages sont 
effectues, un balayage horizontal et un balayage vertical. Ainsi, si 
p(x,y) est un point de ligne horizontale (respectivement verticale) 

10 du modele ajuste et d la valeur en (x,y) de (a carte de distances 
horizontale (respectivement verticale), alors le correspondant de p 
dans Timage sera le point de coordonnees (x,y-d) (respectivement 
(x-d,y) ). 

Le parcours de Tensemble des matrices (cartes des 

15 distances et matrice du modele ajuste moyen) fournit un ensemble 

a grand nombre d'elements de paires de points en correspondance 

qui peut contenir cependant des paires de points apparies 

erronees (par exemple des pixels du modele ajuste non visibles 

dans IMmage seront apparies avec les points de plus fort gradient 

20 les plus proches (ou en dehors de I'image sMI n'y a pas de points 

de gradient sur la ligne ou la colonne consideree. Dans tous les 

cas, on effectue un appariement avec le point le plus proche. 

L'ensemble de ces correspondances ou paires va maintenant 

H 

servir a calculer la nouvelle matrice d'homographie grossiere * 
25 transformant les points du terrain theorique en points appartenant 
aux cartes de contour. La technique utilisee a cette fin n'est pas 
basee sur les moindres carres. En effet, la carte des points de 
contour, qu'elle soit horizontale ou verticale, est souvent fortement 
bruitee. Des correspondances peuvent done etre fortement 
30 erronees et une estimation directe par moindres carres accorderait 
beaucoup d'importance aux paires aberrantes ce qui pourrait, du 
fait de Pinstabilite du modele homographique, entraTner une 
divergence du modele recale par rapport au positionnement reel du 
terrain dans I'image. 
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On pr§fere done utiliser une methode d'estimation robuste 
des parametres de la fonction d'homographie grosstere H g . 
L'objectif est de separer les paires en correspondence qui sont 
bien appari6s des correspondances aberrantes. II existe plusieurs 
5 families de techniques d'estimation robuste. Selon un mode 
prefSrentiel de realisation de hnvention, les parametres de 
Thomographie grossiere H g sont caldules de maniere a satisfaire le 
critere de la moindre mediane des carres. La m6thode de calcul, 
presentee bridvement ci-apres, est decrite de maniere complete au 

10 paragraphe 3 de Tarticle de P. Meer, D. Mintz et A. Rosenfeld 
« Robust Regression Methods for Computer Vision : A Review », 
paru dans International Journal of Computer Vision, volume 6 n° 1, 
1991, pages 59 a 70, auquel on peut eventuellement se referer. 

Selon cette methode, si Ton considere H Tespace des 

15 parametres de Thomographie, E Tensemble des paires en 
correspondance (appeles echantillons) et c(pth,Pr) une paire point- 
pixel constitute d'un pixel du modele ajuste moyen p t h et d'un 
point contour p r correspondant dans Timage, la methode de 
moindre mediane des carres vise a minimiser, dans I'espace H, la 

20 mediane des residus calcules sur E. Le residu dans le cas present, 
correspond a la distance dans une paire entre le point de repere 
resultant de Tapplication de la fonction d'homographie courante 
sur le modele et le point contour (repere) correspondant sur 
Timage. L'homographie H op t solution du probleme est 

25 l'homographie minimisant cette mediane : 
H op* ^minCmeddCH^p^^,) 2 ) 

ou d est la distance euclidienne entre deux points. 

La solution de probleme de minimisation non-Iineaire 
n6cessite une recherche iterative par regression de Thomographie 
30 Hi qui minimise la mediane des residus parmi toutes les 
homographies possibles. De preference, afin de limiter les calculs, 
on borne la recherche & un ensemble fini de n homographies, 
definies par n ensembles de quatre paires (ou couples) de points 
tires aleatoirement dans E. Dans des variantes de rnise en ceuvre 
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on peut utiliser huit paires, voire seize paires ou plus selon la 
puissance de calcul disponible et/ou la precision souhaitee. Pour 
chacune des n homographies, on calcule et on trie les carres des 
residus de fa?on a identifier le residu carre median. L'homographie 
5 resultat est estim6e comme celle qui fournit le plus petit residu 
carre median. 

Le fait de s^lectionner I'homographie sur I'unique residu 
carre median, plutdt que sur Tensemble des residus, confere au 
processus de regression son caractere robuste. En effet, il permet 

10 de ne pas prendre en compte des residus de valeurs extremes, 
susceptibles de correspondre a des paires de points aberrants et 
done de fausser la regression. 

On peut le ddmontrer statistiquement. A titre d'exemple dans 
le cas ou Ton utilise huit paires, si Ton pose P=0.999 la probability 

15 qu'au moins un des n ensemble de huit paires ne contienne pas de 
couples aberrants et que I'on suppose que 50% des donnees 
peuvent etre fausses. Le nombre de tirage n a r6aliser pour 
satisfaire la probability P est alors de 1765. Si la proportion 
d'echantillons aberrants est inferieure a 50%, ce que Ton suppose, 

20 un ensemble ne comportant pas d'echantillon aberrant fournit un 
modele recale en meilleure adequation avec Tensemble E, done 
presentant un residu carre median plus faible, que n'importe quel 
autre ensemble comportant au moins un echantillon aberrant. On 
est alors quasiment assure que I'homographie finalement obtenue 

25 est definie par un ensemble de huit paires non aberrant, ce qui 
garantit la robustesse de la m6thode. 

L'homographie H op t obtenue par ce calcul de regression est 
maintenant utilisee pour identifier les paires aberrantes et on 
Tapplique sur le module pour former un nouveau modele ajuste 

30 optimal. Dans ce but, on calcule I'ecart type a de la valeur absolue 
des residus correspondant a Pensemble des paires de points sous 
ThypothSse d'un bruit additif Gaussien, et on etiquette comme 
paire aberrante celles dont la valeur absolue du residu excede K 
fois a. On peut avantageusement fixer la valeur de la variable K a 
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2,5. La m^thode de calcul aux moindres carres medians utiiisee 

est urie methode classiquement connue. 

L'homographie grossiere H g est finalement obtenue par un 

calcul de regression aux moindres carres effectue sur Pensemble 
5 des paires jugees non aberrantes. II est a noter que le calcul de H g 

peut etre encore affin§ en iterant le processus pr6c§demment 

decrit, des nouvelles paires de points en correspondance etant 

obtenus en appliquant Phomographie H g au modele. 

On peut expliciter le calcul de Phomographie grossiere sous forme 
10 d'un algorithme avec : 

• p1 : correspondant dans Pimage d'un point p du terrain 
theorique recale par Hm (homographie moyenne) 

• p2 : point de contour le plus proche de p1 

1. Pour chaque point p appartenant au contour theorique : 
15 a. pl=Hm(p) 

b. si p est un point appartenant a une ligne verticale 
p2=pl+Gv(p1) 

c. sinon p2= p1+Gh(p1) 

2. Calcul robuste de Phomographie & partir de Pensemble des 
20 couples (p1 ,p2) trouv6s 

a. Effectuer n tirages aleatoires de 4 couples de points 

b. Pour chaque tirage : 

i. Calculer lineairement Phomographie a partir des 
4 couples 

25 ii. Calculer Perreur mediane 

a. Pour Phomographie ayant donne Perreur mediane 
minimale 

i. Conserver les couples non aberrants (celles dont 
la valeur absolue du residu est inferieure a K fois 

30 a). 

ii. Recalculer Phomographie grossiere Hg a partir 
de tous ces couples 

c) Le recalage fin 

On a done obtenu lors de la phase precedente une matrice 
35 d'homographie grossiere H g qui est proche de la solution finale. La 
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presente etape consiste & affiner les paramfetres de cette 
homographie afin de produire une fonction d'homographie fine Hf 
telle que le modele ajuste par elle soit le plus proche possible des 
lignes dans Pimage. Pour cela, une methode de minimisation d'une 
5 fonction de plusieurs variables est mise en oeuvre. Cette fonction 
se d6duit du critere D(I,W) prealablement defini et on recherche la 
matrice Hf solution de la minimisation suivante : 

H f =min(^d c (l f H if s).ds) (1) 

10 La fonction d c se decompose en la somme de deux composantes, 
une verticale et une horizontale: 

d c (J,tf,*) = I v (s)^ 

, Jl v (s) = 1 si s appartient k une ligne verticale 
\0 sinon 

15 La fonction d v (l,p) (respectivement d h (l,p)) represente la 

valeur absolue de la valeur au point p de la carte des distances 
verticales (respectivement horizontales) calculees a I'etape de 
recalage grossier. 

L'integrale contenue dans la formule (1) est 6chantillonnee a 

20 Taide d'un algorithme de parcours de droite de Bresenham de 
fagon a ne traiter que les coordonnees entieres. Au final, la 
quantite a minimiser s'ecrit sous la forme suivante : 

H r =™"( E( I v(P)<lv(l I P) + (1-Iv(P))A(I.P))) (2) 

peB(T,H,) 

25 avec B(T,H/) representant Tensemble des pixels (a valeurs 

entieres) appartenant au contour du terrain T recale par 

Phomographie H/. 

En raison de la tres forte non-linearite de la fonction (2) & 

minimiser, un calcui direct n'est pas possible et on prefere utiliser 
30 une methode iterative de minimisation d'une fonction a plusieurs 

variables qui sont ici les 8 parametres de Phomographie Hf a 
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estimer. Plusieurs techniques sont possibles et notamment, des 
methodes statistiques et des methodes deterministes. 

Les methodes statistiques possedent I'avantage de garantir 
la convergence vers le minimum global de la fonction a minimiser. 

5 Le cout de calcul associe est toutefois prohibitif dans la plupart 
des applications. Parmi ces methodes utilisables on peut citer le 
recuit simule dont on pourra frouver, si necessaire, une 
implementation dans « Numerical Recipes in C », P412, The Art of 
Scientific Computing, Cambridge University Press 2001. 

10 Les m6thodes deterministes, bien que convergentes, ne 

garantissent pas Tobtention finale du minimum global de la 
fonction. Le minimum obtenu apres convergence n'est qu'un 
minimum local qui est souvent assez proche de la valeur initiale 
avec laquelle Talgorithme est initialise (soit les parametres de H g 

15 dans notre cas). Cependant, grace aux etapes precedentes ayant 
permis d'obtenir une matrice d'homographie H g qui est proche de la 
solution finale, ce type de methode peut etre appliqu§e avec profit. 

On ne dispose pas, a priori, du gradient de la fonction a 
minimiser et les techniques exploitant cette information .,;afin 

20 d*assurer une convergence rapide d'un algorithme de methode 
deterministe ne sont done pas applicables. On utilise done ici une 
methode dite de Powell. Cette methode est d§crite en detail dans 
le livre « Numerical Recipes in C », P412, The Art of Scientific 
Computing, Cambridge University Press 2001 auquel on pourra 

25 eventuellement se reporter. Elle repose sur un principe de 
minimisations mono-dimensionnelles alternees, la minimisation 
etant effectuee alternativement sur les 8 parametres de 
Phomographie. 
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REVEN PI CATIONS 

1. Procede de recalage automatique par des moyens 
electroniques d'un modele geometrique d'une scene sur une image 

5 de la scene, le modele et I'image de la scene etant stockes dans 
une memoire d'un dispositif electronique sous forme de matrices 
de pixels, la scene comportant des reperes fixes par rapport au 
reste de la scene, les reperes pouvant etre specifiquement 
detectes au sein des matrices, I'image etant prise par une camera 

10 disposee dans une zone donnee par rapport au terrain en un lieu 
de la zone et selon un angle de prise de vue determines par 
rapport a la scene, les moyens electroniques comparant I'image au 
modele ayant subi un ajustement en perspective par une 
homographie a la recherche d'une superposition des reperes, 

15 caracterise en ce que ie dispositif electronique calcule une 
fonction d'homographie fine H f pour le recalage en trois phases 
principals : 

une premiere phase prealable de determination d'une 
homographie de recalage moyen consistant a determiner une 
20 fonction d'homographie moyenne H » s'appliquant sur le modele 
avec ajustement moyen sur un echantillon d'images prealablement 
realisees de la scene, 

une deuxieme phase de recalage grossier consistant apres 
('application de la fonction d'homographie moyenne H - sur le 
25 modele a determiner une fonction d'homographie grossiere H *, 

une troisieme phase de recalage fin consistant apres 
('application de la fonction d'homographie grossiere H * sur le 
modele a determiner une fonction d'homographie fine H f . 

2. Procede selon la revendication 1, caracterise en ce que 
30 dans la phase prealable de determination d'une homographie de 

recalage moyen, on selectionne au moins une image echantillon 
parmi un ensemble d'images prises du lieu determine, on detecte 
les reperes sur I'image/les images echantillons et on calcule une 
fonction homographique H » moyenne permettant une superposition 
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entre le modele soumis a la fonction homographique moyenne et 
Timage/les images echantillons, la superposition etant atteinte 
pour une minimisation aux moindres carres de la distance entre 
des points reperes de/des images echantillons et le modele soumis 

5 a la fonction homographique moyenne. 

3. Procede selon la revendication 1 ou 2, caract6rise en ce 
que dans la deuxieme phase de recalage grossier : 
- dans une premiere etape on applique un traitement d'extraction a 
IMmage permettant, selon des criteres de detection, de d6tecter 

10 dans la matrice de IMmage des pixels pouvant representer des 
rep6res de la scene et de former une premiere matrice binaire M r h 
de repfere d'image comportant des points de contours horizontaux 
et une seconde matrice binaire M rv de repere d'image comportant 
des points de contours verticaux, 

15 - dans une deuxieme etape on calcule pour chaque matrice binaire 
repere horizontale Mrh, respectivement verticale M rVl une matrice 
de distance repere horizontale M d h, respectivement verticale Mdv, 
comportant pour chaque element de la matrice la valeur de 
distance par rapport au repere le plus proche selon la verticale, 

20 respectivement I'horizontale, 

pour la matrice de distance repere horizontale Mdh chaque element 
de ladite matrice indiquant la distance en nombre de pixels par 
rapport a la ligne repere le long d'un axe vertical, les valeurs 
distance sur la ligne repere et ceux d'une colonne sans pixel de 

25 ligne repere §tant nuls, les valeurs distance le long de la verticale 
augmentant en valeur absolue au fur et £ mesure de Teloignement 
de Telement par rapport £ la ligne repere, les valeurs distance des 
elements etant de signes opposes de part et d'autre de la ligne 
repdre, 

30 pour la matrice de distance repere verticale Mdv chaque element de 
ladite matrice indiquant la distance en nombre de pixels par 
rapport a la ligne repere le long d'un axe horizontal, les valeurs 
distance sur la ligne repere et ceux d'une ligne sans pixel de ligne 
rep&re etant nuls, les valeurs distance le long de Phorizontale 
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augmentant en valeur absolue au fur et a mesure de Peloignement 
de I'element par rapport a la ligne repere, des §16ments 6tant de 
signes opposes de part et d'autre de la ligne repere, 
- dans une troisieme etape on applique sur Tensemble des lignes 
5 reperes du modele la fonction homographique m moyenne afin de 
produire une matrice ajustee moyenne binaire M am qui est 
comparee aux matrices de distance rep6re verticale M dv , 
respectivement horizontale M d h, afin de creer des appariements de 
pixels, 

10 avec pour chaque pixel p(i,j) de la matrice ajustee moyenne 
provenant du recalage d'un pixel du modele appartenant a une 
ligne repere verticale et positionne a la ligne i et a la colonne j de 
la matrice ajustee moyenne M a m, Paffectation d'un pixel 
correspondant obtenu en additionnant la valeur v en i et j de la 

15 matrice repere verticale M rv a la valeur j, et creant I'appariement 
de pixels ((ij), (ij+v)) f 

avec pour chaque pixel p(ij) de la matrice ajustee moyenne 
provenant du recalage d'un pixel du modele appartenant a une 
ligne rep§re horizontale et positionne a la ligne i et a la colonne j 
20 de la matrice ajustee moyenne M am , I'affectation d'un pixel 
correspondant obtenu en additionnant la valeur v en i et j de la 
matrice repere horizontale M rh a la valeur i, et creant I'appariement 
de pixels ((IJ), (i+vj)), 

une fonction d'homographie H op t est alors calcul6e par regression 
25 avec minimisation de la mediane du carre de la distance entre 
paires de pixels apparies, le calcul etant effectue sur n ensembles 
de quatre paires de pixels apparies, 

- dans une quatrieme etape on identifie les paires de pixels 
correspondant a des appariements non aberrants, 
30 - dans une cinquieme etape on ajuste H op t par un calcul de 
regression aux moindres carres sur Pensemble des paires de 
pixels non aberrantes afin de produire I'homographie grossiere 
4. Procede selon la revendication 3, caracterise en ce que, d'une 
part, dans la matrice ajustee moyenne binaire M a m, les pixels 
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prennent la valeur 1 s'ils correspondent a un pixel repere du 
modfele recale et 0 sinon, et, d'autre part, dans la quatrieme etape 
de ia deuxieme phase de recalage grpssier, une paire de pixels 
correspond & un appariement non aberrant, si, pour le pixel de la 
5 matrice ajustee moyenne M a m de I'appariement consid6re, la 
distance entre le pixel apparie par utilisation des matrices reperes 
Mrh, M rv , et celui obtenu par I'homographie H op t est inferieur ou 
egal & un seuil predetermine. 

5. Procede selon la revendication 3 ou 4, caracterise en ce 
10 que les criteres de detection de repferes sont choisis isolement ou 

en combinaison parmi : 

- une couleur specifique du repere par rapport au reste de la 
scene, 

- une teinte specifique du repere par rapport au reste de la scene, 
15 - un niveau de gris specifique du repdre par rapport au reste de la 

scene, 

- une forme specifique du repere, notamment une ligne, un angle 
entre deux lignes se croisant, un parallelisme entre deux lignes, 

- - une orientation specifique du repere, 
20 - une ligne la plus proche et paralldle d'un bord de la matrice de 
Timage. 

6. Procede selon la revendication 3, 4 ou 5, cgracteris^ en ce 
que le traitement d'extraction comporte une etape prealable de 
filtrage de Cany-Deriche de Timage afin d'obtenir une image de 

25 gradients et que le traitement se poursuit avec I'image de 
gradients. 

7. Procede selon Tune quelconque des revendications 
precedentes, caracterise en ce que dans la troisieme phase de 
recalage fin, on applique Thomographie grossiere H g sur le modele 

30 et on compare le r^sultat aux deux matrices de distance 
horizontale et verticale avec ajustement de I'homographie par une 
methode de minimisation iterative mono dimensionnelle alternee 
dite de Powell. 
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8. Procede selon Tune quelconque des revendications 
prec6dentes, caracterise en ce que les images §voluent au cours 
du temps selon des sequences correspondant a des lieux et/ou 
angles de prise de vue differents et en ce que le dispositif 

5 6lectronique comporte de moyens permettant en outre de 
determiner au cours de la premiere phase prealable de recalage 
moyen autant de fonctions d'homographie moyennes H m qu'il y a 
de lieux et angles de prise de vue differents. 

9. Procede selon I'une quelconque des revendications 
10 pr6cedentes, caracteris6 en ce que Ton met en oeuvre les phases 

et Stapes dans les moyens electroniques qui sont en logique 
programmable avec un programme et que la logique programmable 
comporte un microprocesseur ou processeur de signaux 
numeriques (DSP) et, de preference, du type micro-ordinateur 
15 gen6raliste ou dedie. 

10. Procede selon Tune quelconque des revendications 
precedentes, caracteris6 en ce que la scene est un terrain de sport 
comportant des repferes sous forme de lignes de delimitation, 
notamment un terrain « football » europeen ou americain ou de 

20 tennis. 

1 1 . Dispositif de recalage automatique par des moyens 
electroniques d'un module geometrique d'une scene sur une image 
de la scene, le modele et Pimage de la scene etant stockes dans 
une m6moire d'un dispositif electronique sous forme de matrices 

25 de pixels, la scene comportant des reperes fixes par rapport au 
reste de la scene, les repdres pouvant dtre specifiquement 
detectes au sein des matrices, Timage etant prise par une camera 
disposee dans une zone donnee par rapport au terrain en un lieu 
de la zone et selon un angle de prise de vue determines par 

30 rapport a la scene, les moyens electroniques comparant Timage au 
modele ayant subi un ajustement en perspective par une 
homographie & la recherche d'une superposition des reperes, 
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caracterise en ce qu'il comporte des moyens permettant de 

calculer une fonction d'homographie fine H f pour le recalage en 

trois phases principales : 

une premiere phase prealable de determination d'une 
5 homographie de recalage moyen consistant a determiner une 

fonction d'homographie moyenne H » s'appliquant sur le modele 

avec ajustement moyen sur un echahtillon d'images prealablement 

realisees de la scene, 

une deuxieme phase de recalage grossier consistant apres 
10 I'application de la fonction d'homographie moyenne H m sur le 

modele a determiner une fonction d'homographie grossiere H g , 

une troisieme phase de recalage fin consistant apres 

I'application de la fonction d'homographie grossiere H g sur le 

modele a determiner une fonction d'homographie fine H f . 
15 12. Dispositif selon la revendications 11, caracterise en ce 

que les moyens electroniques sont du type micro-ordinateur 

generaliste ou dedie. 

13. Support informatique comportant un programme destine 

au fonctionnement du dispositif de la revendication 11. 
20 14. Support informatique comportant un programme destine 

au fonctionnement du dispositif de la revendication 11 et au moins 

selon la methode de revendications 1 parmi les revendications 1 a 

10. 
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caracterise en ce qu'il comporte des moyens permettant de calculer 
une fonction d'homographie fine H f pour le recalage en trois phases 
principales : 

une premiere phase prealable de determination d'une 
5 homographie de recalage moyen consistant a determiner une 
fonction d'homographie moyenne H » s'appiiquant sur ie modele 
avec ajustement moyen sur un echantillon d'images prealablement 
realisees de la scene, 

une deuxieme phase de recalage grossier consistant apres 
10 I'application de la fonction d'homographie moyenne H m sur le 
modele a determiner une fonction d'homographie grossiere H g , 

une troisieme phase de recalage fin consistant apres 
I'application de la fonction d'homographie grossiere H g sur le 
modele a determiner une fonction d'homographie fine H f . 
15 12. Dispositif selon la revendications 11, caracterise en ce 

que les moyens electroniques sont du type micro-ordinateur 
generaliste ou dedie. 

13. Support informatique comportant un programme destine 
au fonctionnement du dispositif de la revendication 11. 
20 1 4. Support informatique comportant un programme destine 

au fonctionnement du dispositif de la revendication 11 et au moins 
selon le procede de la revendication 1 parmi les revendications de 
proced6 1 a 10. 
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